Ông là em ruột của ông Lê Đức Thọ và là anh ruột của ông Mai Chí Thọ.

Ông có con gái là:

1. Phan Thu Lương, nguyên Phó Tổng Giám đốc của Công ty TNHH Đèn hình Orion-Hanel (OHPT)
2. Phan Thị Hòa, nguyên Ủy viên Hội đồng Quản trị, Trưởng ban Ban Kiểm soát Tập đoàn Dầu khí Quốc gia Việt Nam [2]

Con trai là:

1. Phan Đình Nhân, nguyên Phó phòng Kế hoạch Đầu tư Ủy ban Nhân dân Tp Hà Nội, nguyên Hội trưởng Hội cổ vật Thăng Long.
2. Phan Đình Đức, Ủy viên Hội đồng Thành viên Tập đoàn Dầu khí Việt Nam, nguyên Tổng Giám đốc Tổng công ty CP Phân đạm và Hóa chất Dầu khí (PVFCCo) thuộc Tập đoàn Dầu khí Việt Nam.[3]